Giám mục Giuse Lê Quý Thanh suốt 10 năm trời làm giám mục, ngài sống trong âm thầm, chuyên lo giúp đỡ cho Giám mục Phaolô mọi việc, không bao giờ bước chân ra khỏi Phát Diệm, trừ thời gian sơ tán tại Phát Ngoại chừng một năm. Cha Luca Trần Hùng Sỹ kể lại rằng có lần người về Phát Diệm thăm hai đức giám mục, người thấy cả hai vị đang tự mình ngồi giặt quần áo và quét phòng riêng của mình, còn thầy cai Phú thì đang hái rau muống cạnh hố bom. Cha Luca Hùng Sỹ cũng kể lại rằng chính mắt người nhìn thấy quyển Sách Lễ tiếng Việt mà Giám mục Lê Quý Thanh chép tay từ đầu chí cuối, vì bấy giờ cả Tòa Giám mục chỉ có một quyển của Giám mục chính Bùi Chu Tạo. Khi những trận bom trở nên khốc liệt hơn, hai đức giám mục phải rời Tòa Giám mục đi sơ tán hai nơi: Giám mục chính Phaolô Bùi Chu Tạo trú ngụ tại giáo họ Phát Thượng, Giám mục phó Giuse Lê Quý Thanh tại họ Phát Ngoại, Phát Diệm.